Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
自适应 DHiSparse：负载自适应分层 KV 上的投机解码
🧭 长上下文 LLM 推理 · 分层 KV 投机 ★ 深度解读
Umans AI
把 DSpark/DFlash2 投机解码接入分层稀疏 KV，并用可回收 optional residency 随负载调整 GPU 驻留，显著提升长上下文吞吐
📌 工作参考价值（4 点）
- 长上下文 Agent / LLM4Rec 场景：不要全量 resident 或全量 offload，用「固定 hot cache + 可回收 optional history」；低负载多驻留 GPU，高负载按整请求回收，host 永远有备份，能同时保吞吐和并发。
- 接入投机解码时，draft KV 用窗口 ring 限制大小，按 W + Kmax 加 page 对齐分配；验证阶段多个 query 的 top-k 选择做 union 去重，同一 miss row 只 host copy 一次，本文中可减少约 29% fetch。
- verification staging 按 live layer group 复用，而不是给每层分配；GLM 78 个 payload 层只留 4 个 arena，staging 从 24.0 GiB 降到 1.23 GiB，这对多 query 验证和长上下文服务非常关键。
- 调度上可用式(13)判断投机是否划算：当 speculative 与 non-speculative 的 active session 比低于 TPOT 改善比时，投机不再增加吞吐，应动态收窄 block 或关闭投机，避免高负载下白白等待 slot。